Địa bàn xã Đại Sơn hiện nay trước đây vốn là hai xã Chiên Sơn và Quế Sơn thuộc huyện Sơn Động.

Trước khi sáp nhập, xã Quế Sơn có diện tích 9,91 km², dân số là 3.203 người, mật độ dân số đạt 323 người/km², có 12 thôn: Gốc Lâm, Ghè, Khuân Cầu 2, Óm, Rọp, Khuân Cầu 1, Khâm Khang, Nà Làng, Đồng Cảy, Khuân Hoàng, Mìn, Sỏi. Xã Chiên Sơn có diện tích 5,68 km², dân số là 2.299 người, mật độ dân số đạt 405 người/km².

Ngày 21 tháng 11 năm 2019, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết số 813/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp xã thuộc tỉnh Bắc Giang (nghị quyết có hiệu lực từ ngày 1 tháng 1 năm 2020)[1]. Theo đó, sáp nhập toàn bộ diện tích và dân số của hai xã Chiên Sơn và Quế Sơn thành xã Đại Sơn.